#Model Scaling

3 篇

Towards Reliable, Scalable, and Value-Aligned Generative Recommendation for Large-Scale Advertising

面向大规模广告的可靠可扩展价值对齐生成式推荐系统

🧭 生成式推荐 · Semantic ID · 价值对齐 ★ 深度解读

Kuaishou Technology

通过多路径SID、五维容量扩展和统一价值引导生成与判别，快手广告生成式推荐实现3.07%收入提升

📌 工作参考价值（4 点）

Multi-Path SID：对 embedding 聚类边界模糊的物品保留 top-m 条第一层路径，避免单路径 SID 被 beam search 剪枝后完全不可达。电商/广告场景中物品语义边界普遍模糊，可低成本提升召回覆盖，且不增加解码深度。
PCGM 词汇记忆扩展：用 prefix 条件门控记忆表代替稠密 FFN 门控，按前缀长度检索不同粒度的 SID 嵌入，垂直方向层独立，水平方向支持 1/2/3-gram。在不增加每次解码稠密计算的前提下大幅提升参数容量，适合在线延迟敏感系统。
Diagonal Hyper-Connections：多流残差 + 对角门控，每个子层只计算一次注意力/FFN，却可以扩展多条信息通路。相比直接加宽或加深 Transformer，在相同吞吐下获得更好表示能力，可复用于推荐模型的序列编码器。
Prefix-level value + PV-BeamSearch：将序列级奖励自底向上聚合为前缀价值，训练轻量级 per-level 价值头，推理时用 RRF 融合生成概率排名和价值排名，从 level≥2 开始干预。有效解决高价值 prefix 被过早剪枝的问题，且无需外部重排模型。

GenRec | 2026-10-28 | cs.IR | score 10/10

自精炼流水线中的非对称容量分配

🧭 LLM 自精炼流水线非对称容量分配

University of California, Irvine · Drexel University

首次按阶段研究自精炼流水线模型规模：生成与精炼需大模型，评论器小模型即可

📌 工作参考价值（4 点）

多阶段生成/改写流水线不要均匀分配模型规模：生成器和精炼器用大模型，评论器可大幅缩小；评论器只做判别，容量不敏感，能省大量 KV cache 和算力。
部署自反思/reflection agent 时，用小模型作 critic 过滤中间结果、大模型做 revision，可保持质量同时显著降低耗时与成本；避免 critic 也上大模型。
注意 refiner 不要过度缩小：过小的 refiner 可能把已经不错的生成改坏，形成负增益；推荐理由、商品文案生成等场景应为 revision 保留充分容量。
若业务使用生成-评论-改写 pipeline 做 query 推荐或 push 文案，可按此分配预算：先固定大 generator，选择尽量小的 critic，再粗测 refiner 的敏感区间。

LLM | 2026-08-21 | cs.LG | score 7/10

UniFormer：统一的模型中心缩放框架用于工业推荐

🧭 模型中心缩放 · 统一特征与任务交互 ★ 深度解读

Kuaishou Technology

统一特征空间与任务空间的联合缩放，实现快手线上观看时长+0.7%~1.1%提升，推理加速48%

📌 工作参考价值（4 点）

语义分组 tokenization 实现用户-物品解耦：将无序列特征分为与候选物品独立/依赖两组，推理时独立部分计算一次复用所有候选，大幅降低时延；可借鉴于电商推荐中用户画像、上下文等请求级特征的重用。
多视图 FFN 灵活分配参数：为序列（S-FFNs）、无序列（NS-FFNs）、任务（T-FFNs）分别配备独立 FFN，避免容量瓶颈，支持定向扩容；在广告排序模型中可对不同特征类型（行为、属性、任务）配置可独立扩展的模块。
多序列交叉注意力防止偏好塌缩：短/长行为序列分离交叉注意并自适应融合，保留异构兴趣；电商场景可对点击、收藏、加购等不同长度序列独立建模后再融合，提升个性化。
任务 token 参与注意力交互：将任务特征作为 query 与高阶特征做交叉注意力，再自注意力捕获任务间关系，可替代传统 MMoE 等多任务模块，便于统一缩放。

RecSys | 2026-06-25 | cs.IR | score 9/10